Năm 1941, Stalin đã ký sắc lệnh Ủy ban Quốc phòng Nhà nước Liên Xô về việc kiểm tra nhà nước đối với các binh sĩ Hồng quân bị bắt hoặc thoát vây từ sau phòng tuyến của quân Đức. Một thủ tục tương tự đã được thực hiện đối với vài bộ phận hoạt động của các cơ quan an ninh nhà nước. Việc thanh lọc của quân đội bao gồm việc xác định những kẻ phản bội, gián điệp và những kẻ đào ngũ trong danh sách. Hoạt động này được thực hiện ngay tại trụ sở của các mặt trận, trong đó các thành viên của các cơ quan Smersh tham gia. Các điểm tập trung kiểm tra được tạo ra để tiếp nhận và xác minh công dân Liên Xô được Hồng quân giải phóng.

Theo một số thông tin, từ năm 1941 đến năm 1945, chính quyền Liên Xô đã bắt giữ khoảng 700 nghìn người - khoảng 70 nghìn người trong số họ đã bị bắn. Cũng có báo cáo rằng vài triệu người đã phải trải qua những cuộc tra tấn của SMERSH và khoảng một phần tư trong số họ cũng bị xử tử [5]. Trong chiến tranh, 101 tướng lĩnh và đô đốc đã bị bắt: 12 người chết trong quá trình điều tra, 8 người được thả vì thiếu chứng cứ, 81 người bị Tòa án quân sự của Tòa án tối cao kết án và một bị xét xử đặc biệt [6].

Để theo dõi và kiểm soát bất đồng chính kiến, SMERSH đã tạo ra và duy trì cả một hệ thống giám sát công dân ở cả tiền tuyến lẫn hậu phương. Thủ pháp đe dọa thường được dùng để buộc các nạn nhân phải hợp tác với các cơ quan mật vụ. Điều này làm phát sinh nhiều lời buộc tội vô căn cứ chống lại quân đội và thường dân[5].

SMERSH thường bị mang tiếng xấu như một cơ quan đàn áp. Chúng thường bị phóng đại trong văn học hiện đại. Thực ra Tổng cục phản gián "Smersh" không liên quan gì đến những cuộc đàn áp dân thường, và không thể làm điều đó, vì làm việc với thường dân là đặc quyền của các cơ quan an ninh của NKVD-NKGB. Trái với niềm tin phổ biến, các cơ quan SMERSH không thể kết án bất kỳ ai vào tù hoặc xử tử, vì họ không phải là các cơ quan tư pháp. Các phán quyết được đưa ra bởi tòa án quân sự hoặc ủy ban đặc biệt của NKVD.

Các biệt đội thuộc các cơ quan Smersh không bao giờ được tạo ra, và các nhân viên của Smersh không bao giờ chỉ huy. Vào đầu cuộc chiến, các biện pháp ngăn chặn đã được thực hiện bởi các đơn vị của NKVD để bảo vệ hậu phương quân đội. Năm 1942, các biệt đội phản gián được hình thành tại mỗi tập đoàn quân ở mặt trận. Trên thực tế, chúng thuộc cơ quan mặt trận trong suốt cuộc chiến. Chỉ có một số trường hợp tại các mặt trận Stalingrad và Tây Nam vào tháng 9-12 năm 1942 có nhân viên của các bộ phận đặc biệt của NKVD giữ vai trò chỉ huy.

Để đảm bảo công tác hoạt động, để bảo vệ những nơi triển khai, hộ tống và bảo vệ những người bị bắt từ các bộ phận của Hồng quân, các cơ quan Smersh được phân bổ: cho bộ phận Smersh thuộc phương diện quân - một tiểu đoàn, thuộc tập đoàn quân - một đại đội, cho quân đoàn, sư đoàn và lữ đoàn - trung đội. Đối với các biệt đội, nhiều trạm, chốt kiểm tra được các nhân viên của Smersh tích cực sử dụng để tìm kiếm các điệp viên tình báo của đối phương. Ví dụ, vào đêm trước các hoạt động tấn công của các mặt trận, các hoạt động kiểm tra dọc theo chiến tuyến trên phạm vi lớn được thực hiện với sự tham gia của các đơn vị Smersh. Trong quá trình sàng lọc như vậy, một số lượng lớn người không có giấy tờ, các binh sĩ đào ngũ và nhân viên quân sự đang giữ các tài liệu quan trọng là đối tượng tìm kiếm của Abwehr, đã bị giam giữ.

Phản gián quân sự "Smersh" đôi khi không chỉ thực hiện nhiệm vụ phản gián mà còn trực tiếp tham gia vào các trận chiến với Đức quốc xã, thường vào những thời điểm quan trọng đã chỉ huy các đại đội và tiểu đoàn đã mất chỉ huy. Nhiều sĩ quan Chekist đã hy sinh trong nhiệm vụ chỉ huy các đơn vị của Hồng quân và Hải quân.

Ví dụ: Thượng úy A.F. Kalmykov, công tác tại tiểu đoàn 310, đã được truy tặng Huân chương Cờ đỏ do thành tích chỉ huy một biệt đội đột kích sâu, tấn công vào một cứ điểm mạnh của quân Đức tại làng Osya, vùng Novgorod. Được sự đồng ý của chỉ huy, nhóm tập kích của Kalmykov đã tấn công bất ngờ, dù bị áp đảo về số lượng và trang bị trước đối phương. Sau khi Hồng quân giải phóng được ngôi làng, ngoài những người lính Liên Xô đã hy sinh, khoảng 300 xác chết của quân Đức đã được tìm thấy, hàng loạt trang thiết bị quân sự bị phá hủy bởi nhóm Kalmykov và hỏa lực của Liên Xô [7].

Trong chiến tranh bốn nhân viên "Smersh" đã được trao giải thưởng cao nhất - danh hiệu Anh hùng Liên bang Xô viết: Thượng úy Pyotr Anfimovich Zhidkov, Trung úy Grigory Mikhailovich Kravtsov, Trung úy Mikhail P. Krygin Trung úy Vasily Mikhailovich Chebotarev. Tất cả bốn người đều được truy tặng danh hiệu cao quý này.